Năm 26, Cái Diên được thăng phong An Bình hầu. Quang Vũ đế sai Cái Diên đi đánh Ngao Thương [2] ở phía nam; chuyển sang tấn công Toan Tảo [3], Phong Khâu [4], đều nhổ được.

Mùa hè cùng năm, Diên chỉ huy Phò mã đô úy Mã Vũ, Kỵ đô úy Lưu Long, Hộ quân đô úy Mã Thành, Thiên tướng quân Vương Bá xuống phía nam tấn công Lưu Vĩnh, trước hết công phá được Tương Ấp, rồi tiến chiếm lấy Ma Hương, vây Lưu Vĩnh ở Tuy Dương [5]. Mấy tháng sau, Diên thu hết lúa ngoài đồng, đến đêm bắc thang trèo vào thành. Lưu Vĩnh kinh sợ, đưa quân chạy ra cửa Đông. Cái Diên truy kích, thắng lớn.

Lưu Vĩnh bỏ quân chạy đến Tiếu [6], Diên tiến đánh, nhổ cờ tiết, chém thái thú quận Lỗ dưới quyền Vĩnh. Các thành Bành Thành, Phù Dương, Ninh Thu, Tiêu đều hàng. Diên lại tiến đánh thái thú quận Bái của Vĩnh, chém đi. Tướng của Vĩnh là bọn Tô Mậu, Giảo Cường, Chu Kiến đưa hơn 3 vạn quân đến cứu Vĩnh, cùng tấn công Diên, giao chiến ở phía tây quận Bái. Duyên đại thắng, quân của Vĩnh rối loạn, người bỏ trốn và chết đuối quá nửa. Vĩnh bỏ thành chạy đến Hồ Lăng, Tô Mậu chạy đến Quảng Nhạc. Diên bèn an định 3 nước quận Bái, Sở, Lâm Hoài [7]; tu sửa miếu của Hán Cao Tổ, đặt các chức Sắc phu, Chúc tể, Nhạc nhân.

Năm 27, Lưu Vĩnh giành lại Tuy Dương, Cái Diên lại chỉ huy các tướng vây Vĩnh ta hơn trăm ngày, thu hết lương cốc ngoài đồng. Vĩnh hết lương, đột vây mà chạy, Diên truy kích, bắt hết nhu yếu, giết được Vĩnh. Em Vĩnh là Phòng dâng thành đầu hàng.